มูลเหตุของความขัดแย้งกับสตาลินในครั้งนั้น ก็คือจูคอฟ ซึ่งเป็นหนึ่งในนายทหารไม่กี่คน ที่กล้าที่จะท้วงติงผู้นำ เขาทักท้วงสตาลินว่า เคียฟคงจะทานการรุกของข้าศึกไม่ไหว ทางที่ดีน่าจะถอยทัพออกมาก่อน แต่สตาลินไม่พอใจอย่างมาก จึงปลดเขาจากตำแหน่งเมื่อ 29 กรกฎาคม พ.ศ. 2484 และส่งไปดูแลการรบที่เลนินกราด แต่ในที่สุดแล้วจูคอฟก็พิสูจน์ว่าเขาเป็นฝ่ายถูก เมื่อโซเวียตเสียทหารไปถึงครึ่งล้านที่เคียฟ

ในเดือนตุลาคม พ.ศ. 2484 เมื่อข้าศึกรุกเข้าประชิดกรุงมอสโก จูคอฟถูกเรียกตัวมาเป็นผู้บัญชาการแนวรบกลาง แทนนายพล เซมิออน ตีโมเชนโค เพื่อปกป้องกรุงมอสโก ซึ่งเขาก็ทำได้สำเร็จ เมื่อสามารถผลักดันข้าศึกให้ถอยออกไปจนมอสโกพ้นขีดอันตราย ความสำเร็จนี้ทำให้สตาลินยอมรับฟังความคิดเห็นของนายพลของเขามากขึ้น และยอมถูกวิจารณ์มากขึ้น และชูคอฟก็กลับมาเป็นนายทหารคู่ใจของเขาอีกครั้ง ปีต่อมา จูคอฟ ได้รับการแต่งตั้งเป็นรองผู้บัญชาการสูงสุด และส่งไปดูแลสตาลินกราด ซึ่งที่นี่ โซเวียตสามารถพิชิตกองทัพที่ 6 ของเยอรมนีลงได้สำเร็จ แม้จะต้องเสียทหารไปเป็นล้าน

ในเดือนมกราคม พ.ศ. 2486 เขาดูแลการตีฝ่าการล้อมเลนินกราดครั้งแรก ในเดือกรกฎาคมปีเดียวกัน ในบันทึกความทรงจำ ชูคอฟบอกว่าเขามีบทบาทสำคัญในการวางแผนยุทธการที่คูสค์ (Kursk) ที่ประสบความสำเร็จอย่างดีเยี่ยม โดยที่นี่กองทัพเยอรมันประสบความปราชัยในช่วงฤดูร้อนเป็นครั้งแรก จึงถือว่าเป็นชัยชนะที่มีความสำคัญเช่นเดียวกับที่สตาลินกราด

หลังจากนั้น ชูคอฟ ก็ดูแลเรื่องการปลดปล่อยการปิดล้อมเลนินกราดที่ประสบความสำเร็จ เดือนมกราคม พ.ศ. 2487 ชูคอฟ นำกองทัพโซเวียตในการรุกที่มีชื่อรหัสว่า ปฏิบัติการเบรเกรชั่น ซึ่งหลายคนมองว่าเป็นปฏิบัติการณ์ทางทหารที่สุดยอดที่สุดของสงครามโลกครั้งที่สอง เดือนเมษายน พ.ศ. 2488 กองทัพโซเวียตยึดกรุงเบอร์ลินได้ และฟาสซิสต์เยอรมนียอมแพ้โดยไม่มีเงื่อนไข